作者:卓菘碧625 | 来源:互联网 | 2023-09-13 21:13
一、偏置的意义最基础的神经元感知器如下:注意这里的阈值,它度量了神经元产生正(负)激励的难易程度.也就是说,在上文的模型中,阈值越大,产生正激励的难度越大.同时对于偏置需要注意的
一、偏置的意义
最基础的神经元感知器如下:
![图片](https://img.php1.cn/3cd4a/1eebe/cd5/bcafc120671304eb.webp)
![图片](https://img.php1.cn/3cd4a/1eebe/cd5/eec57030b649a106.webp)
注意这里的阈值, 它度量了神经元产生正(负)激励的难易程度.也就是说,在上文的模型中, 阈值越大, 产生正激励的难度越大.
![图片](https://img.php1.cn/3cd4a/1eebe/cd5/02c379d60086f382.webp)
同时对于偏置需要注意的点是:偏置是不需要正则化的,并且正则化偏置的话会导致欠拟合。我们从意义上去理解话,若对偏置正则化(惩罚),会导致激活变得更加简单,偏差就会上升,学习的能力就会下降!
二、参数初始化
在讲初始化前,先简单复习下反向传播算法可表示为以下几个步骤:
![图片](https://img.php1.cn/3cd4a/1eebe/cd5/a1be7872e8d4934f.webp)
我们前面说过:线性分类器逻辑回归模型可以算作为一个简单的单层神经网络。为了更好的说明